SecPO：面向提示注入安全的原理性对抗训练
🧭 LLM 安全 · 对抗训练防御 Prompt Injection
UC Berkeley · Anthropic · Google DeepMind
提出 SecPO 损失与对抗训练管线，将 Qwen3.6-27B 在 AgentDojo 上的提示注入 ASR 从 78.8% 降至 8.8%，且无良性性能损失。
📌 工作参考价值（4 点）
- 在电商/客服 Agent 使用不可信外部数据（商品评论、工单、邮件）时，应将 prompt injection 视为高风险，采用防御性微调而非仅依赖系统提示词；SecPO 思路：构造注入不变且保持业务 utility 的偏好对，替代以原始不安全模型为参考的 DPO。
- 可搭建红队自动化对抗训练流水线：持续合成强注入样本（论文 best@240 水平的攻击），加入微调数据，比只用弱模拟攻击有效；对电商场景可针对商品描述注入、用户评论注入等生成专用对抗样本。
- 上线前评估应采用 AgentDojo 类自适应攻击和 ASR@N 指标，覆盖攻击者后手（AttackerMovesSecond）等更贴合真实 agent 工作流的位置，而不仅是单轮 prompt 测试。
- 安全微调可以与工具调用、指令遵循等能力保持兼容：通过多任务/多基准联合训练与监控，避免为了安全牺牲业务核心能力。
兼顾任务遵循与行为自然度的用户模拟器
🧭 用户模拟器 · RL+对抗判别器 ★ 深度解读
Cornell University · Microsoft Research
用 RL 联合动态对抗判别器训练用户模拟器，有效对话率 46.2%，为最强现有模型的 3.3 倍
📌 工作参考价值（4 点）
- 在需要模拟用户生成多轮对话的场景（如评估导购 Agent、电商客服助手），不要只用 prompt 大模型或纯 SFT；可借鉴 SFT+RL+动态判别器配方：先 SFT 对齐真实用户语料，再用联合奖励优化任务完成度和自然度。
- 自然度评估要避免 LLM-as-a-judge，用轻量判别器（如 ModernBERT）做对抗训练，每 N 步重训，防止 reward hacking；业务中可训练真实用户 vs 模拟对话的判别器，作为线上模拟器的质量监控信号。
- 设计 coverage 奖励时引入信息不对称：给生成模型的意图抽象、给 reward 的子目标具体，可防止模型逐字复述意图刷分，鼓励多样化合理行为；类似可应用于推荐解释生成或 Agent 指令跟随训练。
- 终止/质量奖励可作为必要的门槛：先检查角色切换、重复输出、提前终止等硬失败，再做细粒度打分；这能低成本过滤掉不可用样本，提升自动化评估信噪比。
Lean Finder V2：面向 Mathlib 的语义搜索与查询消歧
🧭 语义搜索 · 查询改写与消歧
Simon Fraser University · Rice University · University of Pittsburgh
用对抗训练生成大规模短歧义查询，结合模型微调与输入层改写，在 MathlibQR 上至少相对提升 11%
📌 工作参考价值（4 点）
- 用对抗训练补足“短歧义 query”数据：电商搜索里“苹果”“nike 卫衣”等短查询经常缺 context；可仿照用生成模型 + 判别器迭代生成大量带标签的歧义 query，而不是只靠真实日志，显著扩充训练集，解决数据稀疏。
- 模型层 + 输入层双层消歧：同时 fine-tune 检索模型（增强对短 query 的鲁棒性）并在检索前对 query 做改写/补全（如加类目、属性、别名），两者互补；在商品搜索或 Agent 工具检索中可分开评估增量，避免只做单一层。
- 面向真实短查询做人类评估基准：构建少量人工标注的短 query benchmark，用 unlabeled 真实 human/agent 交互做 ranking 评估，比离线 dense retrieval 指标更贴近线上体验。
- 检索质量直接挂钩下游 agent 任务成功率：与 Claude Code 集成后证明 proof success 提升，说明 Agent 工具检索/商品召回改善能直接转化为任务成功；建议将检索召回作为 Agent 流程中的关键优化点。
SCOPE：将自然语言策略编译为神经符号谓词程序
🧭 Agent 策略执行 · 神经符号编译
Plurai
将复杂 Agent 策略编译为可执行神经符号谓词程序，用对抗反例联合优化，实现低成本高稳定策略判决
📌 工作参考价值（4 点）
- 可将复杂业务合规/风控规则（如广告审核、客服 Agent 禁言/承诺约束）编译为“小模型谓词 + 确定性提取器 + 代码组合”的可执行程序，替代大模型黑盒 judge，降低线上推理成本和延迟。
- 用对抗反例生成围绕“程序偏离策略”的地方补充训练数据，尤其适合长尾违规场景；训练时先用最弱执行器/小模型优化谓词，再直接迁移到其他小模型部署，减少重复调优。
- 每个判决可回溯到具体谓词输出，便于风控审计、线上排查和业务规则解释；在需要稳定复现的合规场景，优先考虑这种神经符号方案而非纯 LLM-as-judge。
- 在电商 Agent 中，可把退换货政策、价格承诺、营销文案限制等自然语言策略转化为确定性谓词，仅对模糊语言判断使用小模型，混合执行以提升整体可靠性。
AutoSim：面向对话搜索评估的自改进用户模拟器
🧭 用户模拟器自改进 · 评估真实性 ★ 深度解读
University of Passau · Interdisciplinary Transformation University Austria
Prompt 级自改进无法消除对话搜索模拟器与真实用户行为差距，权重级对抗微调把判别 AUC 降到 0.45 并修正评估偏差。
📌 工作参考价值（4 点）
- 如果要在搜索/推荐/Agent 离线评估里用 LLM 用户模拟器，别指望 prompt 或少样本把「模拟用户」变真实；准备少量真实用户对话或行为日志，用 LoRA/权重级对抗 SFT 训练生成器。论文的四轮 rejection sampling 流程可直接复用：冻结判别器，采样候选 utterance，保留最像人的样本再 SFT，然后刷新判别器。
- 上线前给模拟器加两道检查：一是真实 vs 模拟判别器 AUC 或人工判别，不只看平均 query 长度、礼貌比例；二是在真实用户无结果/低召回的高难度 query 上比较模拟 query 的 nDCG 或召回，防止模拟器掩盖检索失败。
- 把「评估判断」和「用户生成」解耦：排序有效性来自强 LLM judge，不必让 judge 自改进；judge 与 generator 用不同模型家族，避免 self-preference/verbosity bias。业务上可复用为：LLM relevance judge 保持与人工标注或 A/B 结果对齐，生成器单独做真实性校准。
- 对生成式推荐/QueryRec 或多轮 Agent 用户建模：不要只学最终答案或短 query 表层长度，要匹配真实 query 与完整需求之间的语义对齐；短 query 不一定需求聚焦，需额外测 query-need alignment。
AdvFD：通过对抗 Fréchet 距离损失提升视觉生成
🧭 生成模型后训练损失改进
Peking University · KlingAI Research
提出对抗 Fréchet 距离损失（AdvFD），用可学习对抗表示与特征白化缓解 Fréchet hacking，提升视觉生成后训练
📌 工作参考价值（4 点）
- 主要是学术贡献，业务可借鉴点有限。
- 指标 hacking 值得警惕：推荐/广告中仅优化 AUC、NDCG 等静态离线指标可能类似 Fréchet hacking，可尝试引入一个可学习评估器或对抗表征来暴露被固定指标忽略的分布差异。
- 特征白化（whitening）作为对抗训练稳定技巧，可借鉴到多目标/对抗式训练（如 GAN-style 生成式召回）中，防止一侧通过放大特征范数欺骗损失。
- 生成式推荐/创意生成中，后训练阶段加入分布级对抗损失可能提升生成结果与真实分布的全局对齐，但需要进一步验证。
LCGuard：多智能体系统中安全 KV 共享的隐通信守卫
🧭 多智能体安全隐通信优化
Rensselaer Polytechnic Institute · IBM Research
通过对抗训练学习 KV 缓存变换，在保持任务性能的同时降低多智能体隐通信中的敏感信息泄露
📌 工作参考价值（4 点）
- 在多智能体联合推理的电商或客服场景中，若不同 Agent 通过 KV 缓存共享中间推理状态，可借鉴 LCGuard 的对抗训练框架，在缓存传输前插入可学习的表示变换层，降低用户隐私泄露风险。
- 可以将敏感信息重构成功率作为一种可量化的隐私泄露指标，用于评估和监控分布式 Agent 系统内部的通信安全性。
- 对抗训练的分治策略（保留任务语义、压制敏感信息）可推广到其他需要交换隐向量的推荐或检索组件中，例如生成式推荐中的 Semantic ID 传递。
- 工程实现上，LCGuard 的变换模块轻量、可插拔，不改变原有 Agent 结构和推理流程，适合已有流水线的逐步升级。